Nvidia vrea să domine industria video: ce sunt NeRF-urile și cum schimbă grafica pentru totdeauna
Nvidia folosește NeRF-uri pentru a genera grafică 3D completă dintr-o mână de imagini.
Dacă credeai că DLSS 3 de la Nvidia, tehnologia de accelerare a ratei de cadre a fost destul de tare, nu ai văzut, așa cum se spune, nimic. Îți prezint NeRF-urile sau Neural Radiance Fields, o metodă terifiant de inteligentă accelerată de AI pentru a genera scene 3D complete dintr-o mână de fotografii.
Ideea este simplă din punct de vedere conceptual. Faci câteva imagini 2D cu ceva. Le rulezi prin niște algoritmi AI. Randezi lucru sau lucrurile – sau o scenă întreagă complexă – în 3D complet. Și toate astea, în timp real.
Este asemănător cu scanarea fotografiilor pentru a crea scene 3D, dar cu un plus de bunătate AI. Acesta este argumentul de vânzare, cel puțin. NeRF-urile nu sunt unice pentru Nvidia. Dar compania face unele lucruri deosebit de interesante cu NeRF-uri care sunt relevante pentru jocurile pe computer, spre deosebire de realizarea de filme.
Poți vedea acest videoclip detaliat de la Corridor Crew de la începutul acestui an, care arată cât de incredibilă este tehnologia NeRF pentru crearea de videoclipuri fotorealiste din doar câteva fotografii. Dar un cuvânt de avertisment. Odată ce l-ai văzut, te va face să te îndoiești dacă ceva ce vezi în videoclip sau film este real sau redat din nou cu NeRF. Este înfricoșător.
Modul în care sunt realizate jocurile se schimbă
Într-adevăr, există chiar și aplicații bazate pe NeRF disponibile pentru smartphone-urile Android și Apple, cum ar fi Luma AI, astfel încât să poți încerca tehnologia.
Revenind la PC, pe lângă faptul că întregul proces este ciudat de inteligent, acesta oferă o serie de avantaje imediate și evidente. În loc să ai nevoie de modele 3D detaliate și o mulțime de texturi de înaltă rezoluție cu lățime de bandă, tot ce este nevoie pentru a reda o scenă complexă sunt câteva fotografii sau imagini.
Nvidia duce asta la noi extreme așa-numitele NeRF-uri „compacte”, care necesită de aproximativ 100 de ori mai puține date pentru a reda o scenă. Beneficiile pe care le poate avea în ceea ce privește lățimea de bandă și stocarea sunt suficient de evidente.
Cu toate acestea, implementările anterioare ale tehnologiei NeRF au necesitat timp semnificativ pentru a antrena și procesa modelul AI. NeRF-urile „instantanee” ale Nvidia, prin contrast, pot face întregul proces în câteva secunde.
Toate acestea indică, evident, o direcție destul de tentantă, și anume utilizarea NeRF-urilor pentru redarea jocurilor în timp real. Imaginează-ți lățimea de bandă potențială și performanța care înlocuiesc toate acele date de model, textură și iluminare pentru o scenă de joc cu câteva imagini. Și apoi adaugă avertismentul că rezultatele par mai realiste decât motoarele de joc convenționale și arta.
Tehnologia NeRF evoluează incredibil de rapid. Conceptul a apărut abia acum doi ani și deja generează rezultate incredibile. Dacă va revoluționa jocurile pe computer, ei bine, timpul va spune. În timp ce așteptăm, poți explora în profunzime lucrarea de cercetare a Nvidia pe acest subiect aici.